查看原文
其他

亿信数据工厂,不一样的ETL

小亿 亿信华辰
2024-11-09

数据工厂发布以来,受到了各界同仁的关注,并且在卫生、税务、法院、银行、金融等多个行业广泛使用。小编也经常会收到一些技术问题咨询,比如: 

数据工厂跟其它ETL工具产品相比有什么区别呢?

数据工厂装载性能如何?

数据工厂是否能完成设计作业的平滑迁移?

……


那么本期小亿就带着大家走进数据工厂不一样的世界


不一样的ETL


web化应用服务,开放式架构


数据工厂基于web服务,易部署,同时也能很便捷的与其它工具或系统进行集成整合,单点配置等,相比客户端类工具,数据工厂在多人协同作业中,省去了大量的资源检入检出过程和版本一致性管理工作。


混合计算引擎,智能适配


数据工厂结合各类项目实施环境特征,采用的是sql引擎加内存运算的混合计算执行引擎,充分发挥数据库性能优势的同时,也能根据数据处理场景和资源占用情况,智能适配应用服务器,进行内存运算执行。


特色数仓一致性维、行列拆分等组件


除了在传统组件的基础之上,数据工厂封装了大量的数仓特色的组件,如:一致性维转换、拉链表处理、行列拆分、列拆多行等。这些组件都是数据仓库项目中常用的数据处理技术,而在其它工具中需要大量的组件组合使用或者需要调用外置脚本来完成,在数据工厂中只需要简单的配置即可。


数据清洗规则合并计算,批量执行


以往我们在用ETL工具做数据清洗时,会发现众多组件中,挑选不出一个合适的使用,又或者需要手工编写大量的表达式。数据工厂中,专门提供了基于规则的数据清洗组件,将常用的数据行级和列级清洗进行规则化管理,通过界面配置,很方便的处理数据清洗,与此同时,数据工厂能自动完成规则的合并计算,大大节省了数据清洗性能开销。


不仅仅只是ETL


全面支持数据仓库管理


数据工厂采用数据仓库分层管理模式,内置标准的ODS、整合层、汇总层、数据集市,同时能根据项目的实施要求,自由组合分层结构。提供了完整的数仓建模管理所需的技术要素定义和业务要素定义,支持模型的创建、维护、字段检索等功能。


多元化可视化建模


数据工厂提供了多元化的可视化建模和模型关系呈现,除了常规的手工定义方式外,数据工厂支持从现有模型或者数据库表中挑选已存在的字段,快速完成模型定义的同时,消除歧义,保证了字段定义的一致性,同时还支持批量创建和视图模型管理。


提供一站式数据处理


数据工厂封装了大量的向导式快捷方式,在根据源表生成目标主题表结构的同时,完成数据处理流程的自动创建和数据初始化铺底。


完善的资源监控体系


数据工厂提供了完整的ETL全生命周期流程监控,能清晰的细化到每一个ETL作业中每一个组件的执行情况和耗时情况,与此同时,提供了完整的用户访问情况监控、资源操作使用情况监控、数据模型的存储情况管理等。


数据工厂区别于其它工具的特性可远远不止这些。小编在这里抛砖引玉下,就让我们一起去发现吧。





继续滑动看下一个
亿信华辰
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存